Peter Phillips dilahirkan pada jam 10.46 pagi pada 15 November 1977, di Lindo Wing Hospital St Mary, London.[1][2] Beliau ialah anak pertama Puteri Anne dan Mark Phillips, yang telah berkahwin pada tahun 1973.[2] Pada masa kelahirannya, terdapat 41 das tembakan meriam dilepaskan dari Menara London.[2] Beliau telah dibaptis pada 22 Disember 1977 oleh Uskup Agung Canterbury, Donald Coggan, di Bilik Muzik, Istana Buckingham.[3] Ibu bapa baptisnya ialah bapa saudara sebelah ibunya, Raja Charles III; Geoffrey Tiarks; Kapten Hamish Lochore; Lady Cecil Cameron dari Lochiel; dan Jane Holderness-Roddam.[4]

Phillips berada di tempat kelima dalam susur-galur pewarisan takhta ketika dilahirkan dan kekal sehingga keputeraan sepupunya, Putera William, pada tahun 1982. Ibu bapanya dikatakan telah menolak tawaran daripada neneknya, Ratu Elizabeth II, yang akan menyebabkan beliau dilahirkan di bawah golongan bangsawan. Phillips ialah cucu pertama sah kepada raja pemerintah dalam tempoh lebih 500 tahun yang dilahirkan tanpa gelaran atau gelaran ihsan.[2][5] Phillips mempunyai seorang adik perempuan, Zara Tindall (née Phillips; lahir 1981), dan dua adik perempuan tiri, Felicity Wade (née Tonkin; lahir 1985),[6] anak perempuan Mark Phillips dan bekas perempuan simpanannya Heather Tonkin; serta Stephanie Phillips (lahir 1997), anak perempuan daripada perkahwinan kedua bapanya kepada Sandy Pflueger.

Phillips bersekolah di Port Regis Prep School di Shaftesbury, Dorset, sebelum mengikuti jejak langkah beberapa ahli keluarganya dengan menghadiri Gordonstoun School di Moray, Scotland. Semasa di Gordonstoun, beliau dipilih untuk menjadi ketua pelajar lelaki.[7] Semasa tahun jurangnya, beliau pergi ke Sydney dan bekerja untuk Sports Entertainment Limited (SEL), sebuah syarikat yang beliau akan kembali kemudian; beliau juga bekerja untuk pasukan perlumbaan Formula Satu, Jackie Stewart, pada masa itu.[8]

Beliau melanjutkan pengajian ke Universiti Exeter dan memperoleh ijazah dalam sains sukan.[9] Beliau bermain untuk pasukan liga ragbi Universiti Exeter.